Bà được sinh ra ở Quận Hopkins, Kentucky, một trong sáu đứa trẻ của John Lewis O'Grady và Birdie B. Morehead. Ông nội của bà là một người Đảo Ireland da trắng tên là Abe O'Grady, người di cư đến Hoa Kỳ từ Ennis, County Clare, Đảo Ireland, sau Nội chiến Hoa Kỳ và cưới một cô con gái của Lewis và Amanda J. "Mandy" Walker của Todd County, Kentucky. Ông ngoại của bà, Tom  Morehead, là con trai của một người Morehead da trắng và một người nô lệ tên Dinah. Morehead làm việc USCT lần thứ 122.

Bố mẹ của Clay đã ly hôn khi bà còn trẻ, và mẹ của bà làm việc với tư cách là một người hầu gái, chăm sóc các công việc nhà và đứa con của một gia đình da trắng. Clay được dạy dỗ bởi dì của bà. Khi bà đang trong tuổi trưởng thành, bà bỏ học ở trường và cũng tìm được một công việc với tư cách là một người hầu. Sau đó, khi bà được 16 tuổi, bà gặp một người 20 tuổi, Cassius, mọi người thường gọi là "Cash". Họ đã kết hôn và di chuyển đến ngôi nhà của họ ở Louisville, Kentucky. Hôn nhân của Clay có vấn đề. Ali nói với các nhà khởi xướng quyền Anh, "Mẹ tôi luôn lo sợ về ông ấy".